Apache Tajo, Hadoop Distributed File System (HDFS)-এর উপর ভিত্তি করে কাজ করে। এটি HDFS-এ থাকা ডেটা প্রসেসিং এবং বিশ্লেষণের জন্য ডিজাইন করা হয়েছে। Tajo-এর মাধ্যমে ডেটা HDFS-এ লোড করে এবং সেখান থেকে ডেটা অ্যাক্সেস করা যায়।
HDFS-এ ডেটা লোড করার পদ্ধতি
Apache Tajo-তে ডেটা লোড করার জন্য HDFS-এ ডেটা সংরক্ষণ করতে হবে। এরপর Tajo সেই ডেটাকে প্রাসঙ্গিক টেবিলে লিঙ্ক করবে বা লোড করবে।
ডেটা লোড করার ধাপ
১. HDFS-এ ডেটা আপলোড করুন
HDFS-এ ডেটা আপলোড করার জন্য নিম্নলিখিত ধাপগুলো অনুসরণ করুন:
- ফাইলটি লোকাল ফাইল সিস্টেমে প্রস্তুত করুন।
উদাহরণস্বরূপ:sales_data.csv HDFS-এ ফাইল আপলোড করুন।
hdfs dfs -put /local/path/to/sales_data.csv /user/hdfs/sales_data/
২. Tajo-তে টেবিল তৈরি করুন
Tajo-তে একটি টেবিল তৈরি করুন যা আপলোড করা ডেটার স্ট্রাকচারকে প্রতিনিধিত্ব করে।
CREATE TABLE sales (
id INT,
product_name TEXT,
quantity INT,
price FLOAT
) USING CSV;
৩. ডেটা লোড করুন
HDFS-এ সংরক্ষিত ডেটাকে Tajo টেবিলে লোড করুন।
LOAD INTO sales FROM 'hdfs://user/hdfs/sales_data/sales_data.csv';
HDFS থেকে ডেটা অ্যাক্সেস
Apache Tajo ব্যবহার করে HDFS থেকে ডেটা সরাসরি অ্যাক্সেস করা সম্ভব। এটি External Tables ব্যবহার করে বাহ্যিক ডেটা প্রসেসিংয়ের সুযোগ দেয়।
External Table তৈরি এবং ডেটা অ্যাক্সেস
১. টেবিল তৈরি করুন
External Table তৈরি করার সময় HDFS-এ থাকা ডেটার অবস্থান উল্লেখ করুন।
CREATE EXTERNAL TABLE sales_external (
id INT,
product_name TEXT,
quantity INT,
price FLOAT
) USING CSV
LOCATION 'hdfs://user/hdfs/sales_data/sales_data.csv';
২. ডেটা অ্যাক্সেস করুন
External Table থেকে ডেটা প্রসেসিং বা বিশ্লেষণ করতে SQL কুয়েরি ব্যবহার করুন।
SELECT product_name, SUM(quantity * price) AS total_sales
FROM sales_external
GROUP BY product_name;
HDFS Data Load এবং Access এর সুবিধা
১. ডেটা সেন্ট্রালাইজেশন
HDFS-এর মাধ্যমে সমস্ত ডেটা একটি সেন্ট্রালাইজড অবস্থানে সংরক্ষণ করা যায়, যা ডেটা প্রসেসিংকে সহজ করে।
২. দ্রুত ডেটা প্রসেসিং
HDFS-এ সংরক্ষিত ডেটা Tajo-এর Distributed Query Execution পদ্ধতি ব্যবহার করে দ্রুত প্রসেস করা হয়।
৩. ফ্লেক্সিবিলিটি
- Managed Table-এর মাধ্যমে Tajo পুরোপুরি ডেটা নিয়ন্ত্রণ করতে পারে।
- External Table ব্যবহার করে Tajo বাহ্যিক সোর্স থেকে ডেটা অ্যাক্সেস করতে পারে।
৪. স্কেলেবিলিটি
HDFS বিশাল পরিমাণ ডেটা সংরক্ষণ এবং প্রসেসিং করার জন্য স্কেলেবল। Tajo সহজেই এর সাথে কাজ করতে পারে।
৫. বিভিন্ন ডেটা ফরম্যাট সাপোর্ট
Tajo HDFS-এ সংরক্ষিত বিভিন্ন ফরম্যাটের ডেটা যেমন CSV, JSON, Parquet, এবং ORC সাপোর্ট করে।
উদাহরণ চিত্র
- HDFS-এ sales_data.csv ফাইল আপলোড করা হয়েছে।
- Tajo-তে sales নামক Managed Table তৈরি করা হয়েছে।
- SQL কুয়েরির মাধ্যমে ডেটা প্রসেসিং এবং ফলাফল প্রদান করা হয়েছে।
Apache Tajo এবং HDFS একত্রে ডেটা সংরক্ষণ এবং বিশ্লেষণ সহজতর করে। HDFS থেকে ডেটা লোড এবং অ্যাক্সেস করার পদ্ধতি Tajo ব্যবহারকারীদের কার্যক্ষমতা এবং নমনীয়তা প্রদান করে, বিশেষ করে বড় ডেটাসেটের ক্ষেত্রে।
Read more
